医学图像分割的深度学习模型可能会出乎意料地且出乎意料地失败，而与训练图像相比，在不同中心获得的病理案例和图像，标签错误违反了专家知识。此类错误破坏了对医学图像细分的深度学习模型的可信赖性。检测和纠正此类故障的机制对于将该技术安全地转化为诊所至关重要，并且可能是对未来人工智能法规（AI）的要求。在这项工作中，我们提出了一个值得信赖的AI理论框架和一个实用系统，该系统可以使用后备方法和基于Dempster-Shafer理论的失败机制增强任何骨干AI系统。我们的方法依赖于可信赖的AI的可行定义。我们的方法会自动放弃由骨干AI预测的体素级标签，该标签违反了专家知识，并依赖于这些体素的后备。我们证明了拟议的值得信赖的AI方法在最大的报告的胎儿MRI的注释数据集中，由13个中心的540个手动注释的胎儿脑3D T2W MRI组成。我们值得信赖的AI方法改善了在各个中心获得的胎儿脑MRI和各种脑异常的胎儿的最先进的主链AI的鲁棒性。

限制机器学习系统的故障对于安全至关重要的应用至关重要。为了提高机器学习系统的鲁棒性，已提出了分配鲁棒优化（DRO）作为经验风险最小化（ERM）的概括。然而，由于与ERM的随机梯度下降（SGD）优化器相比，由于可用于DRO的优化器的相对效率相对效率相对低效率，因此在深度学习中的使用受到了严格的限制。我们建议使用硬度加权采样的SGD，这是机器学习中DRO的原则性高效优化方法，在深度学习的背景下特别适合。与实践中的硬示例挖掘策略类似，所提出的算法可以直接实施和计算，并且与用于深度学习的基于SGD的优化器一样有效，需要最小的开销计算。与典型的临时硬采矿方法相反，我们证明了我们的DRO算法的收敛性，用于过度参数化的深度学习网络，并具有RELU激活以及有限数量的层和参数。我们对MRI中胎儿脑3D MRI分割和脑肿瘤分割的实验证明了我们方法的可行性和有用性。使用我们的硬度加权采样进行训练，最先进的深度学习管道可改善自动胎儿脑中解剖学变异的鲁棒性3D MRI分割，并改善了对脑肿瘤分割的图像方案变化的鲁棒性。我们的代码可从https://github.com/lucasfidon/hardnessweightedsampler获得。

We present Azimuth, an open-source and easy-to-use tool to perform error analysis for text classification. Compared to other stages of the ML development cycle, such as model training and hyper-parameter tuning, the process and tooling for the error analysis stage are less mature. However, this stage is critical for the development of reliable and trustworthy AI systems. To make error analysis more systematic, we propose an approach comprising dataset analysis and model quality assessment, which Azimuth facilitates. We aim to help AI practitioners discover and address areas where the model does not generalize by leveraging and integrating a range of ML techniques, such as saliency maps, similarity, uncertainty, and behavioral analyses, all in one tool. Our code and documentation are available at github.com/servicenow/azimuth.

The proliferation of deep learning techniques led to a wide range of advanced analytics applications in important business areas such as predictive maintenance or product recommendation. However, as the effectiveness of advanced analytics naturally depends on the availability of sufficient data, an organization's ability to exploit the benefits might be restricted by limited data or likewise data access. These challenges could force organizations to spend substantial amounts of money on data, accept constrained analytics capacities, or even turn into a showstopper for analytics projects. Against this backdrop, recent advances in deep learning to generate synthetic data may help to overcome these barriers. Despite its great potential, however, synthetic data are rarely employed. Therefore, we present a taxonomy highlighting the various facets of deploying synthetic data for advanced analytics systems. Furthermore, we identify typical application scenarios for synthetic data to assess the current state of adoption and thereby unveil missed opportunities to pave the way for further research.

Privacy-preserving machine learning has become a key conundrum for multi-party artificial intelligence. Federated learning (FL) and Split Learning (SL) are two frameworks that enable collaborative learning while keeping the data private (on device). In FL, each data holder trains a model locally and releases it to a central server for aggregation. In SL, the clients must release individual cut-layer activations (smashed data) to the server and wait for its response (during both inference and back propagation). While relevant in several settings, both of these schemes have a high communication cost, rely on server-level computation algorithms and do not allow for tunable levels of collaboration. In this work, we present a novel approach for privacy-preserving machine learning, where the clients collaborate via online knowledge distillation using a contrastive loss (contrastive w.r.t. the labels). The goal is to ensure that the participants learn similar features on similar classes without sharing their input data. To do so, each client releases averaged last hidden layer activations of similar labels to a central server that only acts as a relay (i.e., is not involved in the training or aggregation of the models). Then, the clients download these last layer activations (feature representations) of the ensemble of users and distill their knowledge in their personal model using a contrastive objective. For cross-device applications (i.e., small local datasets and limited computational capacity), this approach increases the utility of the models compared to independent learning and other federated knowledge distillation (FD) schemes, is communication efficient and is scalable with the number of clients. We prove theoretically that our framework is well-posed, and we benchmark its performance against standard FD and FL on various datasets using different model architectures.

自适应多机构系统（AMAS）将机器学习问题转变为代理之间的本地合作问题。我们提出了Smapy，这是一种基于合奏的AMA用于移动性预测的实施，除合作规则外，还为其代理提供了机器学习模型。通过详细的方法，我们表明，如果将线性模型集成到合作多代理结构中，则可以在基准传输模式检测数据集上使用线性模型进行非线性分类。获得的结果表明，由于多代理方法，在非线性环境中线性模型的性能有了显着改善。

最近，引入了卷积自动编码器（CAE）进行图像编码。他们对最新的JPEG2000方法实现了性能改进。但是，这些表演是使用具有大量参数的大型CAE获得的，并且其训练需要大量的计算能力。\\在本文中，我们使用具有较小的内存足迹和低计算功率使用的CAE解决了有损图像压缩的问题。为了克服计算成本问题，大多数文献都使用拉格朗日近端正则化方法，这些方法很耗时。\\在这项工作中，我们提出了一种约束的方法和一种新的结构化稀疏学习方法。我们设计了一个算法并在三个约束上进行测试：经典$ \ ell_1 $约束，$ \ ell_ {1，\ infty} $和新的$ \ ell_ {1,1} $约束。实验结果表明，$ \ ell_ {1,1} $约束提供了最佳的结构性稀疏性，从而导致内存和计算成本的高度降低，并且与密集网络相似的速率延伸性能。

我们为级别集方法提出了一个数据驱动的均值曲线求解器。这项工作是我们在[arxiv：2201.12342] [1]和[doi：10.1016/j.jcp.2022.1111291] [arxiv：2201.12342] [1]中的二维策略的$ \ mathbb {r}^3 $的自然扩展。 ]。但是，与[1,2]建立了依赖分辨率的神经网络词典相比，在这里，我们在$ \ mathbb {r}^3 $中开发了两对模型，而不管网格大小如何。我们的前馈网络摄入的水平集，梯度和曲率数据转换为固定接口节点的数值均值曲率近似值。为了降低问题的复杂性，我们使用高斯曲率对模板进行了分类，并将模型分别适合于非堆肥和鞍模式。非插图模板更容易处理，因为它们表现出以单调性和对称性为特征的曲率误差分布。尽管后者允许我们仅在平均曲面频谱的一半上进行训练，但前者帮助我们将数据驱动的融合并在平坦区域附近无缝地融合了基线估计。另一方面，鞍形图案误差结构不太清楚。因此，我们没有利用超出已知信息的潜在信息。在这方面，我们不仅在球形和正弦和双曲线抛物面斑块上训练了我们的模型。我们构建他们的数据集的方法是系统的，但是随机收集样品，同时确保均衡度。我们还诉诸于标准化和降低尺寸，作为预处理步骤和集成正则化以最大程度地减少异常值。此外，我们利用曲率旋转/反射不变性在推理时提高精度。几项实验证实，与现代粒子的界面重建和水平设定方案相比，我们提出的系统可以产生更准确的均值曲线估计。

数据最初是由Peter Hammer引入的，对数据的逻辑分析是一种方法，旨在计算逻辑上的理由，以将一组数据划分为两组观测值，通常称为正和负基。将此分区视为对部分定义的布尔函数的描述；然后处理数据以识别属性的子集，其值可用于表征正组对负基组的观测值。 LAD构成了经典统计学习技术的一种有趣的基于规则的学习替代方案，并具有许多实际应用。然而，根据数据实例的属性，组表征的计算可能是昂贵的。我们工作的一个主要目的是通过计算一些给定属性确实表征正组和负面组来提供一些\ emph {先验}的概率来提供有效的工具来加速计算。为此，我们根据我们对其上的信息提出了几种代表观测数据集的模型。这些模型及其允许我们计算的概率也有助于快速评估当前实际数据的某些属性；此外，它们可以帮助我们更好地分析和理解解决方法所遇到的计算困难。一旦建立了模型，计算概率的数学工具就会来自分析组合。它们使我们能够将所需的概率表示为生成函数系数的比率，然后提供其数值的快速计算。本文的另一个远程目标是表明，分析组合学的方法可以帮助分析LAD和相关领域中各种算法的性能。

从卫星图像中提取的大气运动向量（AMV）是唯一具有良好全球覆盖范围的风观测。它们是进食数值天气预测（NWP）模型的重要特征。已经提出了几种贝叶斯模型来估计AMV。尽管对于正确同化NWP模型至关重要，但很少有方法可以彻底表征估计误差。估计误差的困难源于后验分布的特异性，这既是很高的维度，又是由于奇异的可能性而导致高度不良的条件，这在缺少数据（未观察到的像素）的情况下特别重要。这项工作研究了使用基于梯度的Markov链Monte Carlo（MCMC）算法评估AMV的预期误差。我们的主要贡献是提出一种回火策略，这相当于在点估计值附近的AMV和图像变量的联合后验分布的局部近似。此外，我们提供了与先前家庭本身有关的协方差（分数布朗运动），并具有不同的超参数。从理论的角度来看，我们表明，在规律性假设下，随着温度降低到{optimal}高斯近似值，在最大a后验（MAP）对数密度给出的点估计下，温度降低到{optimal}高斯近似值。从经验的角度来看，我们根据一些定量的贝叶斯评估标准评估了提出的方法。我们对合成和真实气象数据进行的数值模拟揭示了AMV点估计的准确性及其相关的预期误差估计值的显着提高，但在MCMC算法的收敛速度方面也有很大的加速度。